<!DOCTYPE html>












  


<html class="theme-next pisces use-motion" lang="zh-Hans">
<head><meta name="generator" content="Hexo 3.8.0">
  <!-- hexo-inject:begin --><!-- hexo-inject:end --><meta charset="UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=2">
<meta name="theme-color" content="#222">


  
  
  <link rel="stylesheet" href="/xieyuanhui/lib/needsharebutton/needsharebutton.css">

















  
  
  <link rel="stylesheet" href="/xieyuanhui/lib/fancybox/source/jquery.fancybox.css">







<link rel="stylesheet" href="/xieyuanhui/lib/font-awesome/css/font-awesome.min.css?v=4.6.2">

<link rel="stylesheet" href="/xieyuanhui/css/main.css?v=7.1.0">


  <link rel="apple-touch-icon" sizes="180x180" href="/xieyuanhui/images/apple-touch-icon-next.png?v=7.1.0">


  <link rel="icon" type="image/png" sizes="32x32" href="/xieyuanhui/images/favicon-32x32-next.png?v=7.1.0">


  <link rel="icon" type="image/png" sizes="16x16" href="/xieyuanhui/images/favicon-16x16-next.png?v=7.1.0">


  <link rel="mask-icon" href="/xieyuanhui/images/logo.svg?v=7.1.0" color="#222">


  <link rel="manifest" href="/xieyuanhui/images/manifest.json">


  <meta name="msapplication-config" content="/xieyuanhui/images/browserconfig.xml">





<script id="hexo.configurations">
  var NexT = window.NexT || {};
  var CONFIG = {
    root: '/xieyuanhui/',
    scheme: 'Pisces',
    version: '7.1.0',
    sidebar: {"position":"left","display":"post","offset":12,"onmobile":false,"dimmer":false},
    back2top: true,
    back2top_sidebar: false,
    fancybox: true,
    fastclick: false,
    lazyload: false,
    tabs: true,
    motion: {"enable":true,"async":false,"transition":{"post_block":"fadeIn","post_header":"slideDownIn","post_body":"slideDownIn","coll_header":"slideLeftIn","sidebar":"slideUpIn"}},
    algolia: {
      applicationID: '',
      apiKey: '',
      indexName: '',
      hits: {"per_page":10},
      labels: {"input_placeholder":"Search for Posts","hits_empty":"We didn't find any results for the search: ${query}","hits_stats":"${hits} results found in ${time} ms"}
    }
  };
</script>


  




  <meta name="description" content="[TOC] 原文地址：An Intuitive Explanation of Convolutional Neural Networks 什么是卷积神经网络？为什么它们很重要？卷积神经网络（ConvNets或CNN）是一类神经网络，已经证明在图像识别和分类等领域非常有效。除了为机器人和自动驾驶汽车提供视力外，ConvNets还成功识别了面部，物体和交通标志。  在上面的图1中，ConvNet能够识">
<meta name="keywords" content="翻译,神经网络,卷积">
<meta property="og:type" content="article">
<meta property="og:title" content="神经网络的直观解释">
<meta property="og:url" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/index.html">
<meta property="og:site_name" content="xieyuanhui的笔记">
<meta property="og:description" content="[TOC] 原文地址：An Intuitive Explanation of Convolutional Neural Networks 什么是卷积神经网络？为什么它们很重要？卷积神经网络（ConvNets或CNN）是一类神经网络，已经证明在图像识别和分类等领域非常有效。除了为机器人和自动驾驶汽车提供视力外，ConvNets还成功识别了面部，物体和交通标志。  在上面的图1中，ConvNet能够识">
<meta property="og:locale" content="zh-Hans">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img1.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img2.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img3.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/gif1.gif">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img4.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img5.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/gif2.gif">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/pic1.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/pic2.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/gif3.gif">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img7.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img8.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img9.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img10.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img11.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img12.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img13.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img14.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img15.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img16.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img17.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img18.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img19.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img20.png">
<meta property="og:updated_time" content="2019-05-10T11:15:23.452Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="神经网络的直观解释">
<meta name="twitter:description" content="[TOC] 原文地址：An Intuitive Explanation of Convolutional Neural Networks 什么是卷积神经网络？为什么它们很重要？卷积神经网络（ConvNets或CNN）是一类神经网络，已经证明在图像识别和分类等领域非常有效。除了为机器人和自动驾驶汽车提供视力外，ConvNets还成功识别了面部，物体和交通标志。  在上面的图1中，ConvNet能够识">
<meta name="twitter:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/img1.png">



  <link rel="alternate" href="/xieyuanhui/atom.xml" title="xieyuanhui的笔记" type="application/atom+xml">



  
  
  <link rel="canonical" href="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/">



<script id="page.configurations">
  CONFIG.page = {
    sidebar: "",
  };
</script>

  <title>神经网络的直观解释 | xieyuanhui的笔记</title>
  












  <noscript>
  <style>
  .use-motion .motion-element,
  .use-motion .brand,
  .use-motion .menu-item,
  .sidebar-inner,
  .use-motion .post-block,
  .use-motion .pagination,
  .use-motion .comments,
  .use-motion .post-header,
  .use-motion .post-body,
  .use-motion .collection-title { opacity: initial; }

  .use-motion .logo,
  .use-motion .site-title,
  .use-motion .site-subtitle {
    opacity: initial;
    top: initial;
  }

  .use-motion .logo-line-before i { left: initial; }
  .use-motion .logo-line-after i { right: initial; }
  </style>
</noscript><!-- hexo-inject:begin --><!-- hexo-inject:end -->

</head>

<body itemscope itemtype="http://schema.org/WebPage" lang="zh-Hans">

  
  
    
  

  <!-- hexo-inject:begin --><!-- hexo-inject:end --><div class="container sidebar-position-left page-post-detail">
    <div class="headband"></div>

    <header id="header" class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-brand-wrapper">
  <div class="site-meta">
    

    <div class="custom-logo-site-title">
      <a href="/xieyuanhui/" class="brand" rel="start">
        <span class="logo-line-before"><i></i></span>
        <span class="site-title">xieyuanhui的笔记</span>
        <span class="logo-line-after"><i></i></span>
      </a>
    </div>
    
    
  </div>

  <div class="site-nav-toggle">
    <button aria-label="切换导航栏">
      <span class="btn-bar"></span>
      <span class="btn-bar"></span>
      <span class="btn-bar"></span>
    </button>
  </div>
</div>



<nav class="site-nav">
  
    <ul id="menu" class="menu">
      
        
        
        
          
          <li class="menu-item menu-item-home">

    
    
    
      
    

    

    <a href="/xieyuanhui/" rel="section"><i class="menu-item-icon fa fa-fw fa-home"></i> <br>首页</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-about">

    
    
    
      
    

    

    <a href="/xieyuanhui/about/" rel="section"><i class="menu-item-icon fa fa-fw fa-user"></i> <br>关于</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-tags">

    
    
    
      
    

    

    <a href="/xieyuanhui/tags/" rel="section"><i class="menu-item-icon fa fa-fw fa-tags"></i> <br>标签</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-categories">

    
    
    
      
    

    

    <a href="/xieyuanhui/categories/" rel="section"><i class="menu-item-icon fa fa-fw fa-th"></i> <br>分类</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-archives">

    
    
    
      
    

    

    <a href="/xieyuanhui/archives/" rel="section"><i class="menu-item-icon fa fa-fw fa-archive"></i> <br>归档</a>

  </li>

      
      
        <li class="menu-item menu-item-search">
          
            <a href="javascript:;" class="popup-trigger">
          
            
              <i class="menu-item-icon fa fa-search fa-fw"></i> <br>搜索</a>
        </li>
      
    </ul>
  

  

  
    <div class="site-search">
      
  <div class="popup search-popup local-search-popup">
  <div class="local-search-header clearfix">
    <span class="search-icon">
      <i class="fa fa-search"></i>
    </span>
    <span class="popup-btn-close">
      <i class="fa fa-times-circle"></i>
    </span>
    <div class="local-search-input-wrapper">
      <input autocomplete="off" placeholder="搜索..." spellcheck="false" type="text" id="local-search-input">
    </div>
  </div>
  <div id="local-search-result"></div>
</div>



    </div>
  
</nav>



  



</div>
    </header>

    


    <main id="main" class="main">
      <div class="main-inner">
        <div class="content-wrap">
          
            

          
          <div id="content" class="content">
            

  <div id="posts" class="posts-expand">
    

  

  
  
  

  

  <article class="post post-type-normal" itemscope itemtype="http://schema.org/Article">
  
  
  
  <div class="post-block">
    <link itemprop="mainEntityOfPage" href="http://xyh5513.gitee.io/xieyuanhui/xieyuanhui/2019/05/10/神经网络的直观解释/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="name" content="xieyuanhui">
      <meta itemprop="description" content>
      <meta itemprop="image" content="/xieyuanhui/images/deer.png">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="xieyuanhui的笔记">
    </span>

    
      <header class="post-header">

        
        
          <h1 class="post-title" itemprop="name headline">神经网络的直观解释

              
            
          </h1>
        

        <div class="post-meta">
          <span class="post-time">

            
            
            

            
              <span class="post-meta-item-icon">
                <i class="fa fa-calendar-o"></i>
              </span>
              
                <span class="post-meta-item-text">发表于</span>
              

              
                
              

              <time title="创建时间：2019-05-10 16:47:25 / 修改时间：19:15:23" itemprop="dateCreated datePublished" datetime="2019-05-10T16:47:25+08:00">2019-05-10</time>
            

            
              

              
            
          </span>

          
            <span class="post-category">
            
              <span class="post-meta-divider">|</span>
            
              <span class="post-meta-item-icon">
                <i class="fa fa-folder-o"></i>
              </span>
              
                <span class="post-meta-item-text">分类于</span>
              
              
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing"><a href="/xieyuanhui/categories/论文学习/" itemprop="url" rel="index"><span itemprop="name">论文学习</span></a></span>

                
                
              
            </span>
          

          
            
            
          

          
          
            <span id="/xieyuanhui/2019/05/10/神经网络的直观解释/" class="leancloud_visitors" data-flag-title="神经网络的直观解释">
              <span class="post-meta-divider">|</span>
              <span class="post-meta-item-icon">
                <i class="fa fa-eye"></i>
              </span>
              
                <span class="post-meta-item-text">阅读次数：</span>
              
                <span class="leancloud-visitors-count"></span>
            </span>
          

          

          
            <div class="post-symbolscount">
              

              
                <span class="post-meta-item-icon">
                  <i class="fa fa-file-word-o"></i>
                </span>
                
                  <span class="post-meta-item-text">本文字数：</span>
                
                <span title="本文字数">9k</span>
              

              
                <span class="post-meta-divider">|</span>
              

              
                <span class="post-meta-item-icon">
                  <i class="fa fa-clock-o"></i>
                </span>
                
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                
                <span title="阅读时长">8 分钟</span>
              
            </div>
          

          

        </div>
      </header>
    

    
    
    
    <div class="post-body" itemprop="articleBody">

      
      

      
        <p>[TOC]</p>
<p>原文地址：<a href="https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/" target="_blank" rel="noopener">An Intuitive Explanation of Convolutional Neural Networks</a></p>
<h4 id="什么是卷积神经网络？为什么它们很重要？"><a href="#什么是卷积神经网络？为什么它们很重要？" class="headerlink" title="什么是卷积神经网络？为什么它们很重要？"></a>什么是卷积神经网络？为什么它们很重要？</h4><p>卷积神经网络（ConvNets或CNN）是一类神经网络，已经证明在图像识别和分类等领域非常有效。除了为机器人和自动驾驶汽车提供视力外，ConvNets还成功识别了面部，物体和交通标志。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img1.png" alt="图1"></p>
<p>在上面的图1中，ConvNet能够识别场景并且系统能够建议相关的标题（“足球运动员踢足球”），而图2显示了用于识别日常物品，人类和动物的ConvNets的示例。最近，ConvNets在几个自然语言处理任务（例如句子分类）中也有效。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img2.png" alt="图2"></p>
<p>因此，ConvNets是当今大多数机器学习从业者的重要工具。然而，了解ConvNets并首次学会使用它们有时可能是一种令人生畏的经历。本博文的主要目的是了解卷积神经网络如何在图像上工作。</p>
<p>如果您不熟悉神经网络，我建议您阅读这篇关于多层感知器的简短教程，以便在继续之前了解它们的工作原理。多层感知器在本文中称为“完全连接的层”。</p>
<h4 id="LeNet架构（1990年代）"><a href="#LeNet架构（1990年代）" class="headerlink" title="LeNet架构（1990年代）"></a>LeNet架构（1990年代）</h4><p>LeNet是最早推动深度学习领域的卷积神经网络之一。 Yann LeCun的这项开创性工作在1988年以来的多次成功迭代之后被命名为LeNet5 [3]。那时LeNet架构主要用于字符识别任务，例如阅读邮政编码，数字等。</p>
<p>下面，我们将直观了解LeNet架构如何识别图像。近年来已经提出了几种新架构，这些架构是对LeNet的改进，但它们都使用了LeNet的主要概念，如果您对前者有清楚的了解，则相对容易理解。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img3.png" alt></p>
<p>图3中的卷积神经网络在结构上与原始LeNet类似，并将输入图像分为四类：狗，猫，船或鸟（原始LeNet主要用于字符识别任务）。从上图可以看出，在接收船只图像作为输入时，网络正确地为所有四个类别分配船只的最高概率（0.94）。输出层中所有概率的总和应为1（本文稍后将对此进行说明）。</p>
<p>上图3中的ConvNet有四个主要操作：</p>
<ol>
<li>卷积</li>
<li>非线性（ReLU）</li>
<li>池化或者子采样</li>
<li>分类（全连接层）</li>
</ol>
<p>这些操作是每个卷积神经网络的基本构建块，因此了解这些工作如何是开发对ConvNets的合理理解的重要一步。我们将尝试理解下面这些操作背后的直觉。</p>
<h4 id="图像是像素值的矩阵"><a href="#图像是像素值的矩阵" class="headerlink" title="图像是像素值的矩阵"></a>图像是像素值的矩阵</h4><p>实质上，每个图像都可以表示为像素值矩阵。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/gif1.gif" alt="图4"></p>
<p><strong>通道</strong>是用于指代图像的某个分量的常规术语。来自标准数码相机的图像将具有三个通道 - 红色，绿色和蓝色 - 您可以将这些通道想象为三个彼此堆叠的2d矩阵（每种颜色一个），每个都具有0到255范围内的像素值。</p>
<p>另一方面，<strong>灰度</strong>图像只有一个通道。出于本文的目的，我们将只考虑灰度图像，因此我们将有一个表示图像的2d矩阵。矩阵中每个像素的值范围为0到255  - 零表示黑色，255表示白色。</p>
<h4 id="卷积步骤"><a href="#卷积步骤" class="headerlink" title="卷积步骤"></a>卷积步骤</h4><p>ConvNets从“卷积”运算符中获取它们的名称。 ConvNet的Convolution的主要目的是从输入图像中提取特征。卷积通过使用小方块输入数据学习图像特征来保持像素之间的空间关系。我们不会在这里讨论卷积的数学细节，但会尝试理解它对图像的作用。</p>
<p>如上所述，每个图像都可以被视为像素值矩阵。考虑一个5 x 5图像，其像素值仅为0和1（请注意，对于灰度图像，像素值范围为0到255，下面的绿色矩阵是像素值仅为0和1的特殊情况）：</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img4.png" alt></p>
<p>另外，考虑另一个3 x 3矩阵，如下所示：</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img5.png" alt></p>
<p>然后，可以计算5 x 5图像和3 x 3矩阵的卷积，如下面图5中的动画所示：</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/gif2.gif" alt="图5"></p>
<p>花点时间了解上面的计算是如何完成的。我们将原始图像（绿色）上的橙色矩阵滑动1个像素（也称为“步幅”），对于每个位置，我们计算元素乘法（在两个矩阵之间）并添加乘法输出以获得形成的最终整数输出矩阵的单个元素（粉红色）。注意，3×3矩阵仅“看到”每个步幅中输入图像的一部分。</p>
<p>在CNN术语中，3×3矩阵称为“滤波器”或“内核”或“特征检测器”，通过在图像上滑动滤波器并计算点积而形成的矩阵称为“卷积特征”或“激活”映射’或’特征映射’。重要的是要注意，滤波器充当原始输入图像的特征检测器。</p>
<p>从上面的动画可以明显看出，滤波器矩阵的不同值将为相同的输入图像产生不同的特征映射。例如，请考虑以下输入图像：</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/pic1.png" alt></p>
<p>在下表中，我们可以看到上面图像与不同滤波器卷积的影响。如图所示，我们可以通过在卷积运算[8]之前更改滤波器矩阵的数值来执行边缘检测，锐化和模糊等操作  这意味着不同的滤波器可以检测图像中的不同要素，例如边缘，这里有更多这样的例子，见8.2.4节。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/pic2.png" alt></p>
<p>理解Convolution操作的另一个好方法是查看下面图6中的动画：</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/gif3.gif" alt="图6"></p>
<p>滤镜（具有红色轮廓）在输入图像（卷积操作）上滑动以产生特征图。另一个滤镜（带有绿色轮廓）在同一图像上的卷积给出了不同的特征图，如图所示。重要的是要注意Convolution操作捕获原始图像中的本地依赖性。还要注意这两个不同的滤镜如何从同一原始图像生成不同的特征图。请记住，上面的图像和两个过滤器只是数字矩阵，如上所述。</p>
<p>在实践中，CNN在训练过程中自己学习这些过滤器的值（尽管我们仍需要在训练过程之前指定诸如过滤器数量，过滤器大小，网络架构等参数）。我们拥有的过滤器数量越多，提取的图像特征就越多，我们的网络就越能识别出看不见的图像中的模式。</p>
<p>特征映射（卷积特征）的大小由三个参数[4]控制，我们需要在执行卷积步骤之前确定它们：</p>
<ul>
<li>深度：深度对应于我们用于卷积运算的滤波器数量。在图7所示的网络中，我们使用三个不同的滤波器对原始船图像进行卷积，从而产生三个不同的特征图，如图所示。您可以将这三个要素图视为堆叠的2d矩阵，因此，要素图的“深度”将为3。</li>
</ul>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img7.png" alt="图7"></p>
<ul>
<li><p>步幅：步幅是我们在输入矩阵上滑动滤波器矩阵的像素数。当步幅为1时，我们一次移动滤波器一个像素。当步幅为2时，当我们滑动它们时，滤波器一次跳跃2个像素。更大的步幅将产生更小的特征映射。</p>
</li>
<li><p>零填充：有时，在边界周围用零填充输入矩阵很方便，这样我们就可以将滤波器应用于输入图像矩阵的边界元素。零填充的一个很好的特性是它允许我们控制特征映射的大小。添加零填充也称为宽卷积，不使用零填充将是一个窄卷积。 [14]已经清楚地解释了这一点。</p>
</li>
</ul>
<h4 id="介绍非线性（ReLU）"><a href="#介绍非线性（ReLU）" class="headerlink" title="介绍非线性（ReLU）"></a>介绍非线性（ReLU）</h4><p>在上面的图3中的每个卷积操作之后，已经使用了称为ReLU的附加操作。 ReLU代表整流线性单元，是一种非线性操作。其输出由下式给出：</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img8.png" alt="图8"></p>
<p>ReLU是元素操作（按像素应用）并将要素图中的所有负像素值替换为零。 ReLU的目的是在我们的ConvNet中引入非线性，因为我们希望我们的ConvNet学习的大多数真实数据都是非线性的（卷积是线性操作 - 元素明智的矩阵乘法和加法，所以我们通过引入像ReLU这样的非线性函数来解释非线性。<br> 从下面的图9可以清楚地理解ReLU操作。它显示了ReLU操作应用于上面图6中获得的一个特征映射。此处的输出要素图也称为“已整流”要素图。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img9.png" alt="图9"></p>
<p>也可以使用其他非线性函数（例如tanh或sigmoid）代替ReLU，但已发现ReLU在大多数情况下表现更好。</p>
<h4 id="池化步骤"><a href="#池化步骤" class="headerlink" title="池化步骤"></a>池化步骤</h4><p>空间池（也称为子采样或下采样）可降低每个要素图的维度，但保留最重要的信息。空间池可以是不同类型：最大值，平均值，总和等。<br> 在Max Pooling的情况下，我们定义空间邻域（例如，2×2窗口）并从该窗口内的整流特征映射中获取最大元素。我们也可以取平均值（平均合并数）或该窗口中所有元素的总和，而不是取最大元素。在实践中，Max Pooling已被证明可以更好地工作。<br> 图10示出了通过使用2×2窗口在整流特征图（在卷积+ ReLU操作之后获得）上的最大池操作的示例。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img10.png" alt="图10"></p>
<p>我们将2 x 2窗口滑动2个单元格（也称为“stride”）并在每个区域中取最大值。如图10所示，这降低了我们的特征映射的维度。<br> 在图11所示的网络中，池化操作分别应用于每个要素图（请注意，由于这个原因，我们从三个输入图中获得三个输出图）。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img11.png" alt="图11"></p>
<p>图12显示了Pooling对我们在上面图9中的ReLU操作之后收到的整流特征图的影响。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img12.png" alt="图12"></p>
<p>Pooling的功能是逐步减小输入表示的空间大小[4]。特别是汇集</p>
<ul>
<li>使输入表示（特征维度）更小，更易于管理</li>
</ul>
<ul>
<li>减少网络中的参数和计算次数，因此，控制过拟合[4]</li>
</ul>
<ul>
<li>使网络对输入图像中的小变换，失真和平移不变（小的失真）输入不会改变Pooling的输出 - 因为我们采用局部邻域中的最大值/平均值。</li>
</ul>
<ul>
<li>帮助我们达到我们图像的几乎尺度不变的表示（确切的术语是“等变的”）。这是非常强大的，因为我们可以检测图像中的对象，无论它们位于何处（详见[18]和[19]）。</li>
</ul>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img13.png" alt="图13"></p>
<p>到目前为止，我们已经看到了Convolution，ReLU和Pooling的工作原理。重要的是要理解这些层是任何CNN的基本构建块。如图13所示，我们有两组Convolution，ReLU和Pooling层 - 第二个Convolution层使用六个滤波器对第一个Pooling Layer的输出执行卷积，以产生总共六个特征映射。然后在所有这六个特征图上单独应用ReLU。然后，我们在六个整流的特征图中的每一个上单独执行最大池操作。</p>
<p> 这些层一起从图像中提取有用的特征，在我们的网络中引入非线性并减少特征维度，同时旨在使特征在某种程度上与缩放和平移相同[18]。</p>
<p> 第二个汇聚层的输出充当完全连接层的输入，我们将在下一节中讨论。</p>
<h4 id="全连接层"><a href="#全连接层" class="headerlink" title="全连接层"></a>全连接层</h4><p>完全连接层是传统的多层感知器，在输出层使用softmax激活功能（也可以使用其他分类器，如SVM，但在本文中将坚持使用softmax）。术语“完全连接”意味着前一层中的每个神经元都连接到下一层的每个神经元。如果您不熟悉多层感知器，我建议您阅读这篇文章。</p>
<p>卷积和池化层的输出表示输入图像的高级特征。完全连接层的目的是使用这些功能根据训练数据集将输入图像分类为各种类。例如，我们要执行的图像分类任务有四种可能的输出，如下面的图14所示（注意图14没有显示完全连接层中节点之间的连接）</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img14.png" alt="图14"></p>
<p>除了分类之外，添加完全连接的层也是学习这些特征的非线性组合的（通常）廉价方式。卷积和池化层的大多数特征可能对分类任务有利，但这些特征的组合可能更好[11]。</p>
<p>来自完全连接层的输出概率之和为1.这通过使用Softmax作为完全连接层的输出层中的激活函数来确保。 Softmax函数采用任意实值得分的向量，并将其压缩为0到1之间的值的向量，其总和为1。</p>
<h4 id="全部放在一起-使用反向传播进行培训"><a href="#全部放在一起-使用反向传播进行培训" class="headerlink" title="全部放在一起 - 使用反向传播进行培训"></a>全部放在一起 - 使用反向传播进行培训</h4><p>如上所述，Convolution + Pooling层充当来自输入图像的特征提取器，而完全连接层充当分类器。</p>
<p> 注意，在下面的图15中，由于输入图像是船，因此对于Boat类，目标概率为1，对于其他三个类，目标概率为0，即</p>
<ul>
<li>输入图像=船</li>
<li>目标矢量= [0,0,1,0]</li>
</ul>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img15.png" alt="图15"></p>
<p>卷积网络的整体训练过程可概括如下：</p>
<ul>
<li><p>步骤1：我们用随机值初始化所有过滤器和参数/权重</p>
</li>
<li><p>步骤2：网络将训练图像作为输入，经过前向传播步骤（卷积，ReLU和池化操作以及完全连接层中的前向传播）并找到每个类的输出概率。</p>
<ul>
<li><p>可以说上面船形图的输出概率是[0.2,0.4,0.1,0.3]</p>
</li>
<li><p>由于权重是为第一个训练示例随机分配的，因此输出概率也是随机的。</p>
</li>
</ul>
</li>
<li><p>步骤3：计算输出层的总误差（所有4个类的总和）</p>
<ul>
<li>总误差=Σ½（目标概率 - 输出概率）²</li>
</ul>
</li>
<li><p>步骤4：使用反向传播计算相对于网络中所有权重的误差梯度，并使用梯度下降来更新所有滤波器值/权重和参数值，以最小化输出误差。</p>
<ul>
<li>权重的调整与它们对总误差的贡献成比例。</li>
<li>当再次输入相同的图像时，输出概率现在可能是[0.1,0.1,0.7,0.1]，这更接近目标矢量[0,0,1,0]。</li>
<li>这意味着网络已经学会通过调整其权重/滤波器来正确地对该特定图像进行分类，从而减少输出误差。</li>
<li>过滤器数量，过滤器大小，网络体系结构等参数在步骤1之前都已修复，并且在训练过程中不会更改 - 仅更新过滤器矩阵和连接权重的值。</li>
</ul>
</li>
<li><p>步骤5：对训练集中的所有图像重复步骤2-4。</p>
</li>
</ul>
<p>上述步骤训练ConvNet  - 这实际上意味着ConvNet的所有权重和参数现在已经过优化，可以正确分类来自训练集的图像。</p>
<p> 当一个新的（看不见的）图像被输入到ConvNet中时，网络将经历前向传播步骤并输出每个类的概率（对于新图像，输出概率使用已经优化的权重来计算以正确分类所有以前的训练样例）。如果我们的训练集足够大，网络（希望）可以很好地推广到新图像并将它们分类为正确的类别。</p>
<p> 注1：上述步骤过于简单，避免了数学细节，以便为培训过程提供直观的信息。有关数学公式和透彻理解，请参见[4]和[12]。</p>
<p> 注2：在上面的例子中，我们使用了两组交替的Convolution和Pooling层。但请注意，这些操作可以在一个ConvNet中重复多次。事实上，今天一些表现最好的ConvNets拥有数十个Convolution和Pooling层！此外，在每个卷积层之后没有必要具有池化层。从下面的图16中可以看出，在进行Pooling操作之前，我们可以连续进行多次Convolution + ReLU操作。还要注意ConvNet的每一层如何在下面的图16中可视化。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img16.png" alt="图16"></p>
<h4 id="可视化卷积神经网络"><a href="#可视化卷积神经网络" class="headerlink" title="可视化卷积神经网络"></a>可视化卷积神经网络</h4><p>一般来说，我们拥有的卷积步骤越多，我们的网络能够学会识别的功能就越复杂。例如，在图像分类中，ConvNet可以学习从第一层中的原始像素检测边缘，然后使用边缘检测第二层中的简单形状，然后使用这些形状来阻止更高级别的特征，例如面部形状在较高层[14]。这在下面的图17中得到了证明 - 这些特征是使用卷积深度信念网络学习的，这里的图仅用于演示这个想法（这只是一个例子：现实生活卷积滤波器可以检测对人类无意义的物体） 。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img17.png" alt="图17"></p>
<p>Adam Harley创建了一个在MNIST手写数字数据库上训练的卷积神经网络的惊人的可视化[13]。我强烈建议玩它来了解CNN如何工作的细节。</p>
<p>我们将在下面看到网络如何为输入’8’工作。请注意，图18中的可视化不会单独显示ReLU操作。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img18.png" alt="图18"></p>
<p>输入图像包含1024个像素（32×32图像），并且第一个卷积层（卷积层1）通过将六个唯一的5×5（步幅1）滤波器与输入图像卷积而形成。如图所示，使用六个不同的滤镜产生深度为六的特征图。</p>
<p>卷积层1之后是池化层1，它在卷积层1中的六个特征图上分别进行2×2最大池化（步长2）。您可以将鼠标指针移动到池化层中的任何像素上并观察2 x它在前一个卷积层中形成2个网格（如图19所示）。您会注意到2 x 2网格中具有最大值（最亮的一个）的像素使其成为Pooling层。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img19.png" alt="图19"></p>
<p>合并第1层之后是16个5×5（步长1）卷积滤波器，它们执行卷积运算。接下来是Pooling Layer 2，它执行2×2最大池化（步长为2）。这两层使用与上述相同的概念。</p>
<p>然后我们有三个完全连接（FC）层。有：</p>
<ul>
<li><p>第一个FC层中的120个神经元</p>
</li>
<li><p>第二个FC层中的100个神经元</p>
</li>
<li><p>第三个FC层中的10个神经元对应于10个数字 - 也称为输出层</p>
</li>
</ul>
<p>请注意，在图20中，输出层中的10个节点中的每个节点都连接到第2个完全连接层中的所有100个节点（因此名称为“完全连接”）。<br> 另外，请注意输出层中唯一明亮的节点如何对应于’8’ - 这意味着网络正确地对我们的手写数字进行分类（更亮的节点表示其输出更高，即8在所有其他数字中的概率最高） ）。</p>
<p><img src="/xieyuanhui/2019/05/10/神经网络的直观解释/img20.png" alt="图20"></p>
<p>此处提供了相同可视化的三维版本。</p>
<h4 id="其他ConvNet架构"><a href="#其他ConvNet架构" class="headerlink" title="其他ConvNet架构"></a>其他ConvNet架构</h4><p>自20世纪90年代初以来，卷积神经网络就已存在。我们讨论了上面的LeNet，它是最早的卷积神经网络之一。其他一些有影响力的架构列在下面[3] [4]。</p>
<ul>
<li>LeNet（20世纪90年代）：本文已经介绍过。</li>
<li>20世纪90年代至2012年：从20世纪90年代末到2010年初，卷积神经网络正在孵化。随着越来越多的数据和计算能力的出现，卷积神经网络可以解决的任务变得越来越有趣。</li>
<li>AlexNet（2012） -  2012年，Alex Krizhevsky（以及其他人）发布了AlexNet，它是LeNet的更深和更广泛的版本，并在2012年大幅度赢得了困难的ImageNet大规模视觉识别挑战赛（ILSVRC）。它是一个相对于先前方法的重大突破以及当前CNN的广泛应用可以归因于这项工作。</li>
<li>ZF Net（2013） -  2013年ILSVRC冠军是来自Matthew Zeiler和Rob Fergus的Convolutional Network。它被称为ZFNet（Zeiler＆Fergus Net的简称）。通过调整架构超参数，这是对AlexNet的改进。</li>
<li>GoogLeNet（2014） -  2014年ILSVRC获奖者是Szegedy等人的卷积网络。来自谷歌。它的主要贡献是开发了一个初始模块，大大减少了网络中的参数数量（4M，与AlexNet相比，60M）。</li>
<li>VGGNet（2014） -  2014年ILSVRC的亚军是被称为VGGNet的网络。它的主要贡献在于表明网络的深度（层数）是良好性能的关键组成部分。</li>
<li>ResNets（2015） - 由Kaiming He（和其他人）开发的残余网络是ILSVRC 2015的获胜者.ResNets目前是迄今为止最先进的卷积神经网络模型，是在实践中使用ConvNets的默认选择（截至2016年5月） ）。</li>
<li>DenseNet（2016年8月） - 最近由高黄（和其他人）发布，密集连接的卷积网络使每一层以前馈方式直接连接到每个其他层。事实证明，DenseNet在五项极具竞争力的物体识别基准测试任务中，比先前最先进的架构获得了显着的改进。在这里查看Torch实现。</li>
</ul>
<h4 id="结论"><a href="#结论" class="headerlink" title="结论"></a>结论</h4><p>在这篇文章中，我试图用简单的术语解释卷积神经网络背后的主要概念。有几个细节我过度简化/跳过，但希望这篇文章给你一些关于它们如何工作的直觉。</p>
<p> 这篇文章最初的灵感来自Denny Britz对NLP的理解卷积神经网络（我建议阅读），这里的一些解释都是基于这篇文章。为了更透彻地理解其中一些概念，我建议您阅读斯坦福大学的ConvNets课程以及下面参考文献中提到的其他优秀资源。如果您在理解上述任何概念或遇到问题/建议时遇到任何问题，请随时在下面发表评论。</p>
<p> 本文中使用的所有图像和动画属于各自的作者，如下面的参考文献部分所列。</p>
<h4 id="参考文献"><a href="#参考文献" class="headerlink" title="参考文献"></a>参考文献</h4><ol>
<li><a href="https://github.com/karpathy/neuraltalk2" target="_blank" rel="noopener">karpathy/neuraltalk2</a>: Efficient Image Captioning code in Torch, <a href="http://cs.stanford.edu/people/karpathy/neuraltalk2/demo.html" target="_blank" rel="noopener">Examples</a></li>
<li>Shaoqing Ren, <em>et al,</em> “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”, 2015, <a href="http://arxiv.org/pdf/1506.01497v3.pdf" target="_blank" rel="noopener">arXiv:1506.01497 </a></li>
<li><a href="https://medium.com/towards-data-science/neural-network-architectures-156e5bad51ba" target="_blank" rel="noopener">Neural Network Architectures</a>, Eugenio Culurciello’s blog</li>
<li><a href="http://cs231n.github.io/convolutional-networks/" target="_blank" rel="noopener">CS231n Convolutional Neural Networks for Visual Recognition, Stanford</a></li>
<li><a href="https://www.clarifai.com/technology" target="_blank" rel="noopener">Clarifai / Technology</a></li>
<li><a href="https://medium.com/@ageitgey/machine-learning-is-fun-part-3-deep-learning-and-convolutional-neural-networks-f40359318721#.2gfx5zcw3" target="_blank" rel="noopener">Machine Learning is Fun! Part 3: Deep Learning and Convolutional Neural Networks</a></li>
<li><a href="http://deeplearning.stanford.edu/wiki/index.php/Feature_extraction_using_convolution" target="_blank" rel="noopener">Feature extraction using convolution, Stanford</a></li>
<li><a href="https://en.wikipedia.org/wiki/Kernel_(image_processing" target="_blank" rel="noopener">Wikipedia article on Kernel (image processing) </a>)</li>
<li><a href="http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12" target="_blank" rel="noopener">Deep Learning Methods for Vision, CVPR 2012 Tutorial </a></li>
<li><a href="http://mlss.tuebingen.mpg.de/2015/slides/fergus/Fergus_1.pdf" target="_blank" rel="noopener">Neural Networks by Rob Fergus, Machine Learning Summer School 2015</a></li>
<li><a href="http://stats.stackexchange.com/a/182122/53914" target="_blank" rel="noopener">What do the fully connected layers do in CNNs? </a></li>
<li><a href="http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/" target="_blank" rel="noopener">Convolutional Neural Networks, Andrew Gibiansky </a></li>
<li>A. W. Harley, “An Interactive Node-Link Visualization of Convolutional Neural Networks,” in ISVC, pages 867-877, 2015 (<a href="http://scs.ryerson.ca/~aharley/vis/harley_vis_isvc15.pdf" target="_blank" rel="noopener">link</a>). <a href="http://scs.ryerson.ca/~aharley/vis/conv/flat.html" target="_blank" rel="noopener">Demo</a></li>
<li><a href="http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/" target="_blank" rel="noopener">Understanding Convolutional Neural Networks for NLP</a></li>
<li><a href="http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/" target="_blank" rel="noopener">Backpropagation in Convolutional Neural Networks</a></li>
<li><a href="https://adeshpande3.github.io/adeshpande3.github.io/A-Beginner&#39;s-Guide-To-Understanding-Convolutional-Neural-Networks-Part-2/" target="_blank" rel="noopener">A Beginner’s Guide To Understanding Convolutional Neural Networks</a></li>
<li>Vincent Dumoulin, <em>et al</em>, “A guide to convolution arithmetic for deep learning”, 2015, <a href="http://arxiv.org/pdf/1603.07285v1.pdf" target="_blank" rel="noopener">arXiv:1603.07285</a></li>
<li><a href="https://github.com/rasbt/python-machine-learning-book/blob/master/faq/difference-deep-and-normal-learning.md" target="_blank" rel="noopener">What is the difference between deep learning and usual machine learning?</a></li>
<li><a href="https://www.quora.com/How-is-a-convolutional-neural-network-able-to-learn-invariant-features" target="_blank" rel="noopener">How is a convolutional neural network able to learn invariant features?</a></li>
<li><a href="http://journal.frontiersin.org/article/10.3389/frobt.2015.00036/full" target="_blank" rel="noopener">A Taxonomy of Deep Convolutional Neural Nets for Computer Vision</a></li>
<li>Honglak Lee, <em>et al</em>, “Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations” (<a href="http://web.eecs.umich.edu/~honglak/icml09-ConvolutionalDeepBeliefNetworks.pdf" target="_blank" rel="noopener">link</a>)</li>
</ol>

      
    </div>

    

    
    
    

    
        
<div class="my_post_copyright">
  <script src="//cdn.bootcss.com/clipboard.js/1.5.10/clipboard.min.js"></script>
  
  <!-- JS库 sweetalert 可修改路径 -->
  <script type="text/javascript" src="http://jslibs.wuxubj.cn/sweetalert_mini/jquery-1.7.1.min.js"></script>
  <script src="http://jslibs.wuxubj.cn/sweetalert_mini/sweetalert.min.js"></script>
  <link rel="stylesheet" type="text/css" href="http://jslibs.wuxubj.cn/sweetalert_mini/sweetalert.mini.css">
 
  <p><span>本文标题:</span>神经网络的直观解释</p>
  <p><span>文章作者:</span>xieyuanhui</p>
  <p><span>发布时间:</span>2019年05月10日 - 16:47:25</p>
  <p><span>最后更新:</span>2019年05月10日 - 19:15:23</p>
  <p><span>原始链接:</span><a href="/xieyuanhui/2019/05/10/神经网络的直观解释/" title="神经网络的直观解释">http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/</a>
    <span class="copy-path" title="点击复制文章链接"><i class="fa fa-clipboard" data-clipboard-text="http://xyh5513.gitee.io/xieyuanhui/2019/05/10/神经网络的直观解释/" aria-label="复制成功！"></i></span>
  </p>
  <p><span>许可协议:</span><i class="fa fa-creative-commons"></i> <a rel="license" href="https://creativecommons.org/licenses/by-nc-nd/4.0/" target="_blank" title="Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0)">CC BY-NC-SA 4.0</a> 转载请保留原文链接及作者。</p>  
</div>
<script> 
    var clipboard = new Clipboard('.fa-clipboard');
    clipboard.on('success', $(function(){
      $(".fa-clipboard").click(function(){
        swal({   
          title: "",   
          text: '复制成功',   
          html: false,
          timer: 500,   
          showConfirmButton: false
        });
      });
    }));  
</script>

    

    

    
      
    
    
      <div>
        <div id="reward-container">
  <div>您的支持将鼓励我继续创作</div>
  <button id="reward-button" disable="enable" onclick="var qr = document.getElementById(&quot;qr&quot;); qr.style.display = (qr.style.display === 'none') ? 'block' : 'none';">
    打赏
  </button>
  <div id="qr" style="display: none;">

    
      
      
        
      
      <div style="display: inline-block">
        <img src="/xieyuanhui/images/wechatpay.png" alt="xieyuanhui 微信支付">
        <p>微信支付</p>
      </div>
    
      
      
        
      
      <div style="display: inline-block">
        <img src="/xieyuanhui/images/alipay.jpg" alt="xieyuanhui 支付宝">
        <p>支付宝</p>
      </div>
    

  </div>
</div>

      </div>
    

    

    <footer class="post-footer">
      
        <div class="post-tags">
          
            <a href="/xieyuanhui/tags/翻译/" rel="tag"># 翻译</a>
          
            <a href="/xieyuanhui/tags/神经网络/" rel="tag"># 神经网络</a>
          
            <a href="/xieyuanhui/tags/卷积/" rel="tag"># 卷积</a>
          
        </div>
      

      
      
        <div class="post-widgets">
        

        

        
          
          <div class="social_share">
            
            
              <div id="needsharebutton-postbottom">
                <span class="btn">
                  <i class="fa fa-share-alt" aria-hidden="true"></i>
                </span>
              </div>
            
            
          </div>
        
        </div>
      
      

      
        <div class="post-nav">
          <div class="post-nav-next post-nav-item">
            
              <a href="/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/" rel="next" title="显示，参与和分辨：用视觉注意生成神经图像标题">
                <i class="fa fa-chevron-left"></i> 显示，参与和分辨：用视觉注意生成神经图像标题
              </a>
            
          </div>

          <span class="post-nav-divider"></span>

          <div class="post-nav-prev post-nav-item">
            
              <a href="/xieyuanhui/2019/05/16/十大经典排序算法/" rel="prev" title="十大经典排序算法">
                十大经典排序算法 <i class="fa fa-chevron-right"></i>
              </a>
            
          </div>
        </div>
      

      
      
    </footer>
  </div>
  
  
  
  </article>


  </div>


          </div>
          

  



        </div>
        
          
  
  <div class="sidebar-toggle">
    <div class="sidebar-toggle-line-wrap">
      <span class="sidebar-toggle-line sidebar-toggle-line-first"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-middle"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-last"></span>
    </div>
  </div>

  <aside id="sidebar" class="sidebar">
    <div class="sidebar-inner">

      

      
        <ul class="sidebar-nav motion-element">
          <li class="sidebar-nav-toc sidebar-nav-active" data-target="post-toc-wrap">
            文章目录
          </li>
          <li class="sidebar-nav-overview" data-target="site-overview-wrap">
            站点概览
          </li>
        </ul>
      

      <div class="site-overview-wrap sidebar-panel">
        <div class="site-overview">
          <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
            
              <img class="site-author-image" itemprop="image" src="/xieyuanhui/images/deer.png" alt="xieyuanhui">
            
              <p class="site-author-name" itemprop="name">xieyuanhui</p>
              <div class="site-description motion-element" itemprop="description"></div>
          </div>

          
            <nav class="site-state motion-element">
              
                <div class="site-state-item site-state-posts">
                
                  <a href="/xieyuanhui/archives/">
                
                    <span class="site-state-item-count">107</span>
                    <span class="site-state-item-name">日志</span>
                  </a>
                </div>
              

              
                
                
                <div class="site-state-item site-state-categories">
                  
                    
                      <a href="/xieyuanhui/categories/">
                    
                  
                    
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                    <span class="site-state-item-count">16</span>
                    <span class="site-state-item-name">分类</span>
                  </a>
                </div>
              

              
                
                
                <div class="site-state-item site-state-tags">
                  
                    
                      <a href="/xieyuanhui/tags/">
                    
                  
                    
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                    <span class="site-state-item-count">114</span>
                    <span class="site-state-item-name">标签</span>
                  </a>
                </div>
              
            </nav>
          

          
            <div class="feed-link motion-element">
              <a href="/xieyuanhui/atom.xml" rel="alternate">
                <i class="fa fa-rss"></i>
                RSS
              </a>
            </div>
          

          

          
            <div class="links-of-author motion-element">
              
                <span class="links-of-author-item">
                  
                  
                    
                  
                  
                    
                  
                  <a href="/xieyuanhui/yuanhxie@163.com" title="E-Mail &rarr; yuanhxie@163.com"><i class="fa fa-fw fa-envelope"></i>E-Mail</a>
                </span>
              
            </div>
          

          

          
          

          
            
          
          

        </div>
      </div>

      
      <!--noindex-->
        <div class="post-toc-wrap motion-element sidebar-panel sidebar-panel-active">
          <div class="post-toc">

            
            
            
            

            
              <div class="post-toc-content"><ol class="nav"><li class="nav-item nav-level-4"><a class="nav-link" href="#什么是卷积神经网络？为什么它们很重要？"><span class="nav-text">什么是卷积神经网络？为什么它们很重要？</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#LeNet架构（1990年代）"><span class="nav-text">LeNet架构（1990年代）</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#图像是像素值的矩阵"><span class="nav-text">图像是像素值的矩阵</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#卷积步骤"><span class="nav-text">卷积步骤</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#介绍非线性（ReLU）"><span class="nav-text">介绍非线性（ReLU）</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#池化步骤"><span class="nav-text">池化步骤</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#全连接层"><span class="nav-text">全连接层</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#全部放在一起-使用反向传播进行培训"><span class="nav-text">全部放在一起 - 使用反向传播进行培训</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#可视化卷积神经网络"><span class="nav-text">可视化卷积神经网络</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#其他ConvNet架构"><span class="nav-text">其他ConvNet架构</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#结论"><span class="nav-text">结论</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#参考文献"><span class="nav-text">参考文献</span></a></li></ol></div>
            

          </div>
        </div>
      <!--/noindex-->
      

      

    </div>
  </aside>
  


        
      </div>
    </main>

    <footer id="footer" class="footer">
      <div class="footer-inner">
        <div class="copyright">&copy; <span itemprop="copyrightYear">2019</span>
  <span class="with-love" id="animate">
    <i class="fa fa-user"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">xieyuanhui</span>

  
    <span class="post-meta-divider">|</span>
    <span class="post-meta-item-icon">
      <i class="fa fa-area-chart"></i>
    </span>
    
      <span class="post-meta-item-text">站点总字数：</span>
    
    <span title="站点总字数">749k</span>
  

  
    <span class="post-meta-divider">|</span>
    <span class="post-meta-item-icon">
      <i class="fa fa-coffee"></i>
    </span>
    
      <span class="post-meta-item-text">站点阅读时长 &asymp;</span>
    
    <span title="站点阅读时长">11:21</span>
  
</div>


  <div class="powered-by">由 <a href="https://hexo.io" class="theme-link" rel="noopener" target="_blank">Hexo</a> 强力驱动 v3.8.0</div>



  <span class="post-meta-divider">|</span>



  <div class="theme-info">主题 – <a href="https://theme-next.org" class="theme-link" rel="noopener" target="_blank">NexT.Pisces</a> v7.1.0</div>


<div><span id="sitetime"></span>
<script language="javascript">
  function siteTime(){
    window.setTimeout("siteTime()", 1000);
    var seconds = 1000;
    var minutes = seconds * 60;
    var hours = minutes * 60;
    var days = hours * 24;
    var years = days * 365;
    var today = new Date();
    var todayYear = today.getFullYear();
    var todayMonth = today.getMonth()+1;
    var todayDate = today.getDate();
    var todayHour = today.getHours();
    var todayMinute = today.getMinutes();
    var todaySecond = today.getSeconds();
    /* Date.UTC() -- 返回date对象距世界标准时间(UTC)1970年1月1日午夜之间的毫秒数(时间戳)
    year - 作为date对象的年份，为4位年份值
    month - 0-11之间的整数，做为date对象的月份
    day - 1-31之间的整数，做为date对象的天数
    hours - 0(午夜24点)-23之间的整数，做为date对象的小时数
    minutes - 0-59之间的整数，做为date对象的分钟数
    seconds - 0-59之间的整数，做为date对象的秒数
    microseconds - 0-999之间的整数，做为date对象的毫秒数 */
    var t1 = Date.UTC(2019,04,09,15,00,00); //北京时间2018-2-13 00:00:00
    var t2 = Date.UTC(todayYear,todayMonth,todayDate,todayHour,todayMinute,todaySecond);
    var diff = t2-t1;
    var diffYears = Math.floor(diff/years);
    var diffDays = Math.floor((diff/days)-diffYears*365);
    var diffHours = Math.floor((diff-(diffYears*365+diffDays)*days)/hours);
    var diffMinutes = Math.floor((diff-(diffYears*365+diffDays)*days-diffHours*hours)/minutes);
    var diffSeconds = Math.floor((diff-(diffYears*365+diffDays)*days-diffHours*hours-diffMinutes*minutes)/seconds);
    document.getElementById("sitetime").innerHTML=" xieyuanhui的个人笔记已运行"+/*diffYears+" 年 "+*/diffDays+" 天 "+diffHours+" 小时 "+diffMinutes+" 分钟 "+diffSeconds+" 秒";
  }/*因为建站时间还没有一年，就将之注释掉了。需要的可以取消*/
  siteTime();
</script></div>



<div>

  <div class="theme-info">
    <script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
    <span id="busuanzi_container_site_pv">本站总访问量<span id="busuanzi_value_site_pv"></span>次</span>
    <span class="post-meta-divider">|</span>
    <span id="busuanzi_container_site_uv">本站访客数<span id="busuanzi_value_site_uv"></span>人</span>
  </div>

</div>

        






  <div>
    <script type="text/javascript">
	    var cnzz_protocol = (("https:" == document.location.protocol) ? "https://" : "http://");
	    document.write(unescape("%3Cspan id='cnzz_stat_icon_1277235632'%3E%3C/span%3E%3Cscript 
	    src='" + cnzz_protocol + "s23.cnzz.com/z_stat.php%3Fid%3D1277235632%26show%3Dpic' 
	    type='text/javascript'%3E%3C/script%3E"));
    </script>
  </div>



        
      </div>
    </footer>

    
      <div class="back-to-top">
        <i class="fa fa-arrow-up"></i>
        
      </div>
    

    
      <div id="needsharebutton-float">
        <span class="btn">
          <i class="fa fa-share-alt" aria-hidden="true"></i>
        </span>
      </div>
    

    

    
  </div>

  

<script>
  if (Object.prototype.toString.call(window.Promise) !== '[object Function]') {
    window.Promise = null;
  }
</script>












  



  
    
    
  
  <script color="0,0,255" opacity="0.5" zindex="-1" count="99" src="/xieyuanhui/lib/canvas-nest/canvas-nest.min.js"></script>













  
  <script src="/xieyuanhui/lib/jquery/index.js?v=2.1.3"></script>

  
  <script src="/xieyuanhui/lib/velocity/velocity.min.js?v=1.2.1"></script>

  
  <script src="/xieyuanhui/lib/velocity/velocity.ui.min.js?v=1.2.1"></script>

  
  <script src="/xieyuanhui/lib/fancybox/source/jquery.fancybox.pack.js"></script>


  


  <script src="/xieyuanhui/js/utils.js?v=7.1.0"></script>

  <script src="/xieyuanhui/js/motion.js?v=7.1.0"></script>



  
  


  <script src="/xieyuanhui/js/affix.js?v=7.1.0"></script>

  <script src="/xieyuanhui/js/schemes/pisces.js?v=7.1.0"></script>



  
  <script src="/xieyuanhui/js/scrollspy.js?v=7.1.0"></script>
<script src="/xieyuanhui/js/post-details.js?v=7.1.0"></script>



  


  <script src="/xieyuanhui/js/next-boot.js?v=7.1.0"></script>


  

  

  

  


  


  
  <script>
    // Popup Window;
    var isfetched = false;
    var isXml = true;
    // Search DB path;
    var search_path = "search.xml";
    if (search_path.length === 0) {
      search_path = "search.xml";
    } else if (/json$/i.test(search_path)) {
      isXml = false;
    }
    var path = "/xieyuanhui/" + search_path;
    // monitor main search box;

    var onPopupClose = function (e) {
      $('.popup').hide();
      $('#local-search-input').val('');
      $('.search-result-list').remove();
      $('#no-result').remove();
      $(".local-search-pop-overlay").remove();
      $('body').css('overflow', '');
    }

    function proceedsearch() {
      $("body")
        .append('<div class="search-popup-overlay local-search-pop-overlay"></div>')
        .css('overflow', 'hidden');
      $('.search-popup-overlay').click(onPopupClose);
      $('.popup').toggle();
      var $localSearchInput = $('#local-search-input');
      $localSearchInput.attr("autocapitalize", "none");
      $localSearchInput.attr("autocorrect", "off");
      $localSearchInput.focus();
    }

    // search function;
    var searchFunc = function(path, search_id, content_id) {
      'use strict';

      // start loading animation
      $("body")
        .append('<div class="search-popup-overlay local-search-pop-overlay">' +
          '<div id="search-loading-icon">' +
          '<i class="fa fa-spinner fa-pulse fa-5x fa-fw"></i>' +
          '</div>' +
          '</div>')
        .css('overflow', 'hidden');
      $("#search-loading-icon").css('margin', '20% auto 0 auto').css('text-align', 'center');

      

      $.ajax({
        url: path,
        dataType: isXml ? "xml" : "json",
        async: true,
        success: function(res) {
          // get the contents from search data
          isfetched = true;
          $('.popup').detach().appendTo('.header-inner');
          var datas = isXml ? $("entry", res).map(function() {
            return {
              title: $("title", this).text(),
              content: $("content",this).text(),
              url: $("url" , this).text()
            };
          }).get() : res;
          var input = document.getElementById(search_id);
          var resultContent = document.getElementById(content_id);
          var inputEventFunction = function() {
            var searchText = input.value.trim().toLowerCase();
            var keywords = searchText.split(/[\s\-]+/);
            if (keywords.length > 1) {
              keywords.push(searchText);
            }
            var resultItems = [];
            if (searchText.length > 0) {
              // perform local searching
              datas.forEach(function(data) {
                var isMatch = false;
                var hitCount = 0;
                var searchTextCount = 0;
                var title = data.title.trim();
                var titleInLowerCase = title.toLowerCase();
                var content = data.content.trim().replace(/<[^>]+>/g,"");
                
                var contentInLowerCase = content.toLowerCase();
                var articleUrl = decodeURIComponent(data.url).replace(/\/{2,}/g, '/');
                var indexOfTitle = [];
                var indexOfContent = [];
                // only match articles with not empty titles
                if(title != '') {
                  keywords.forEach(function(keyword) {
                    function getIndexByWord(word, text, caseSensitive) {
                      var wordLen = word.length;
                      if (wordLen === 0) {
                        return [];
                      }
                      var startPosition = 0, position = [], index = [];
                      if (!caseSensitive) {
                        text = text.toLowerCase();
                        word = word.toLowerCase();
                      }
                      while ((position = text.indexOf(word, startPosition)) > -1) {
                        index.push({position: position, word: word});
                        startPosition = position + wordLen;
                      }
                      return index;
                    }

                    indexOfTitle = indexOfTitle.concat(getIndexByWord(keyword, titleInLowerCase, false));
                    indexOfContent = indexOfContent.concat(getIndexByWord(keyword, contentInLowerCase, false));
                  });
                  if (indexOfTitle.length > 0 || indexOfContent.length > 0) {
                    isMatch = true;
                    hitCount = indexOfTitle.length + indexOfContent.length;
                  }
                }

                // show search results

                if (isMatch) {
                  // sort index by position of keyword

                  [indexOfTitle, indexOfContent].forEach(function (index) {
                    index.sort(function (itemLeft, itemRight) {
                      if (itemRight.position !== itemLeft.position) {
                        return itemRight.position - itemLeft.position;
                      } else {
                        return itemLeft.word.length - itemRight.word.length;
                      }
                    });
                  });

                  // merge hits into slices

                  function mergeIntoSlice(text, start, end, index) {
                    var item = index[index.length - 1];
                    var position = item.position;
                    var word = item.word;
                    var hits = [];
                    var searchTextCountInSlice = 0;
                    while (position + word.length <= end && index.length != 0) {
                      if (word === searchText) {
                        searchTextCountInSlice++;
                      }
                      hits.push({position: position, length: word.length});
                      var wordEnd = position + word.length;

                      // move to next position of hit

                      index.pop();
                      while (index.length != 0) {
                        item = index[index.length - 1];
                        position = item.position;
                        word = item.word;
                        if (wordEnd > position) {
                          index.pop();
                        } else {
                          break;
                        }
                      }
                    }
                    searchTextCount += searchTextCountInSlice;
                    return {
                      hits: hits,
                      start: start,
                      end: end,
                      searchTextCount: searchTextCountInSlice
                    };
                  }

                  var slicesOfTitle = [];
                  if (indexOfTitle.length != 0) {
                    slicesOfTitle.push(mergeIntoSlice(title, 0, title.length, indexOfTitle));
                  }

                  var slicesOfContent = [];
                  while (indexOfContent.length != 0) {
                    var item = indexOfContent[indexOfContent.length - 1];
                    var position = item.position;
                    var word = item.word;
                    // cut out 100 characters
                    var start = position - 20;
                    var end = position + 80;
                    if(start < 0){
                      start = 0;
                    }
                    if (end < position + word.length) {
                      end = position + word.length;
                    }
                    if(end > content.length){
                      end = content.length;
                    }
                    slicesOfContent.push(mergeIntoSlice(content, start, end, indexOfContent));
                  }

                  // sort slices in content by search text's count and hits' count

                  slicesOfContent.sort(function (sliceLeft, sliceRight) {
                    if (sliceLeft.searchTextCount !== sliceRight.searchTextCount) {
                      return sliceRight.searchTextCount - sliceLeft.searchTextCount;
                    } else if (sliceLeft.hits.length !== sliceRight.hits.length) {
                      return sliceRight.hits.length - sliceLeft.hits.length;
                    } else {
                      return sliceLeft.start - sliceRight.start;
                    }
                  });

                  // select top N slices in content

                  var upperBound = parseInt('1');
                  if (upperBound >= 0) {
                    slicesOfContent = slicesOfContent.slice(0, upperBound);
                  }

                  // highlight title and content

                  function highlightKeyword(text, slice) {
                    var result = '';
                    var prevEnd = slice.start;
                    slice.hits.forEach(function (hit) {
                      result += text.substring(prevEnd, hit.position);
                      var end = hit.position + hit.length;
                      result += '<b class="search-keyword">' + text.substring(hit.position, end) + '</b>';
                      prevEnd = end;
                    });
                    result += text.substring(prevEnd, slice.end);
                    return result;
                  }

                  var resultItem = '';

                  if (slicesOfTitle.length != 0) {
                    resultItem += "<li><a href='" + articleUrl + "' class='search-result-title'>" + highlightKeyword(title, slicesOfTitle[0]) + "</a>";
                  } else {
                    resultItem += "<li><a href='" + articleUrl + "' class='search-result-title'>" + title + "</a>";
                  }

                  slicesOfContent.forEach(function (slice) {
                    resultItem += "<a href='" + articleUrl + "'>" +
                      "<p class=\"search-result\">" + highlightKeyword(content, slice) +
                      "...</p>" + "</a>";
                  });

                  resultItem += "</li>";
                  resultItems.push({
                    item: resultItem,
                    searchTextCount: searchTextCount,
                    hitCount: hitCount,
                    id: resultItems.length
                  });
                }
              })
            };
            if (keywords.length === 1 && keywords[0] === "") {
              resultContent.innerHTML = '<div id="no-result"><i class="fa fa-search fa-5x"></i></div>'
            } else if (resultItems.length === 0) {
              resultContent.innerHTML = '<div id="no-result"><i class="fa fa-frown-o fa-5x"></i></div>'
            } else {
              resultItems.sort(function (resultLeft, resultRight) {
                if (resultLeft.searchTextCount !== resultRight.searchTextCount) {
                  return resultRight.searchTextCount - resultLeft.searchTextCount;
                } else if (resultLeft.hitCount !== resultRight.hitCount) {
                  return resultRight.hitCount - resultLeft.hitCount;
                } else {
                  return resultRight.id - resultLeft.id;
                }
              });
              var searchResultList = '<ul class=\"search-result-list\">';
              resultItems.forEach(function (result) {
                searchResultList += result.item;
              })
              searchResultList += "</ul>";
              resultContent.innerHTML = searchResultList;
            }
          }

          if ('auto' === 'auto') {
            input.addEventListener('input', inputEventFunction);
          } else {
            $('.search-icon').click(inputEventFunction);
            input.addEventListener('keypress', function (event) {
              if (event.keyCode === 13) {
                inputEventFunction();
              }
            });
          }

          // remove loading animation
          $(".local-search-pop-overlay").remove();
          $('body').css('overflow', '');

          proceedsearch();
        }
      });
    }

    // handle and trigger popup window;
    $('.popup-trigger').click(function(e) {
      e.stopPropagation();
      if (isfetched === false) {
        searchFunc(path, 'local-search-input', 'local-search-result');
      } else {
        proceedsearch();
      };
    });

    $('.popup-btn-close').click(onPopupClose);
    $('.popup').click(function(e){
      e.stopPropagation();
    });
    $(document).on('keyup', function (event) {
      var shouldDismissSearchPopup = event.which === 27 &&
        $('.search-popup').is(':visible');
      if (shouldDismissSearchPopup) {
        onPopupClose();
      }
    });
  </script>





  
  
  <script>
    
    function addCount(Counter) {
      var $visitors = $('.leancloud_visitors');
      var url = $visitors.attr('id').trim();
      var title = $visitors.attr('data-flag-title').trim();

      Counter('get', '/classes/Counter', { where: JSON.stringify({ url }) })
        .done(function({ results }) {
          if (results.length > 0) {
            var counter = results[0];
            
            Counter('put', '/classes/Counter/' + counter.objectId, JSON.stringify({ time: { '__op': 'Increment', 'amount': 1 } }))
            
              .done(function() {
                var $element = $(document.getElementById(url));
                $element.find('.leancloud-visitors-count').text(counter.time + 1);
              })
            
              .fail(function ({ responseJSON }) {
                console.log('Failed to save Visitor num, with error message: ' + responseJSON.error);
              })
          } else {
            
              Counter('post', '/classes/Counter', JSON.stringify({ title: title, url: url, time: 1 }))
                .done(function() {
                  var $element = $(document.getElementById(url));
                  $element.find('.leancloud-visitors-count').text(1);
                })
                .fail(function() {
                  console.log('Failed to create');
                });
            
          }
        })
        .fail(function ({ responseJSON }) {
          console.log('LeanCloud Counter Error: ' + responseJSON.code + ' ' + responseJSON.error);
        });
    }
    

    $(function() {
      $.get('https://app-router.leancloud.cn/2/route?appId=' + 'q2BU0OM2W8i5nARddHRKQOvm-gzGzoHsz')
        .done(function({ api_server }) {
          var Counter = function(method, url, data) {
            return $.ajax({
              method: method,
              url: 'https://' + api_server + '/1.1' + url,
              headers: {
                'X-LC-Id': 'q2BU0OM2W8i5nARddHRKQOvm-gzGzoHsz',
                'X-LC-Key': 'hLTPk12Jmt8atnC9cePjTwQH',
                'Content-Type': 'application/json',
              },
              data: data
            });
          };
          
            addCount(Counter);
          
        });
    });
  </script>



  

  
  

  
  

  
    
      <script type="text/x-mathjax-config">
  

  MathJax.Hub.Config({
    tex2jax: {
      inlineMath: [ ['$', '$'], ['\\(', '\\)'] ],
      processEscapes: true,
      skipTags: ['script', 'noscript', 'style', 'textarea', 'pre', 'code']
    },
    TeX: {
      
      equationNumbers: {
        autoNumber: 'AMS'
      }
    }
  });
  MathJax.Hub.Register.StartupHook('TeX Jax Ready', function() {
    MathJax.InputJax.TeX.prefilterHooks.Add(function(data) {
      if (data.display) {
        var next = data.script.nextSibling;
        while (next && next.nodeName.toLowerCase() === '#text') { next = next.nextSibling }
        if (next && next.nodeName.toLowerCase() === 'br') { next.parentNode.removeChild(next) }
      }
    });
  });
</script>

<script type="text/x-mathjax-config">
  MathJax.Hub.Queue(function() {
    var all = MathJax.Hub.getAllJax(), i;
    for (i = 0; i < all.length; i += 1) {
      document.getElementById(all[i].inputID + '-Frame').parentNode.className += ' has-jax';
    }
  });
</script>
<script src="//cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.5/MathJax.js?config=TeX-MML-AM_CHTML"></script>

    
  


  

  

  

  

  
  
  
  <script src="/xieyuanhui/lib/needsharebutton/needsharebutton.js"></script>
  <script>
    
      pbOptions = {};
      
        pbOptions.iconStyle = "box";
      
        pbOptions.boxForm = "horizontal";
      
        pbOptions.position = "bottomCenter";
      
        pbOptions.networks = "Weibo,Wechat,Douban,QQZone,Twitter,Facebook";
      
      new needShareButton('#needsharebutton-postbottom', pbOptions);
    
    
      flOptions = {};
      
        flOptions.iconStyle = "box";
      
        flOptions.boxForm = "horizontal";
      
        flOptions.position = "middleRight";
      
        flOptions.networks = "Weibo,Wechat,Douban,QQZone,Twitter,Facebook";
      
      new needShareButton('#needsharebutton-float', flOptions);
    
  </script>


  

  

  

  

  

  


  
  <script type="text/javascript" src="//cdn.bootcss.com/canvas-nest.js/1.0.0/canvas-nest.min.js"></script><!-- hexo-inject:begin --><!-- Begin: Injected MathJax -->
<script type="text/x-mathjax-config">
  MathJax.Hub.Config({"tex2jax":{"inlineMath":[["$","$"],["\\(","\\)"]],"skipTags":["script","noscript","style","textarea","pre","code"],"processEscapes":true},"TeX":{"equationNumbers":{"autoNumber":"AMS"}}});
</script>

<script type="text/x-mathjax-config">
  MathJax.Hub.Queue(function() {
    var all = MathJax.Hub.getAllJax(), i;
    for(i=0; i < all.length; i += 1) {
      all[i].SourceElement().parentNode.className += ' has-jax';
    }
  });
</script>

<script type="text/javascript" src="https://cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.1/MathJax.js">
</script>
<!-- End: Injected MathJax -->
<!-- hexo-inject:end -->
  
</body>
</html>
